Năm 1946 tại Argentina đã xác lập chế độ độc tài của Tổng thống Peron. Borges đã bị đuổi khỏi thư viện vì chế độ mới không hài lòng với những phát ngôn và sáng tác của ông. Như sau này ông nhớ lại, ông đã được nhắc nhở là ông được thăng chức từ nhân viên thư viện lên chức thanh tra về thương mại gia cầm ở các khu chợ thành phố. Và vì vậy, ông đã phải sống cảnh thất nghiệp từ năm 1946 tới năm 1955, khi chế độ độc tài bị lật đổ. Của đáng tội, năm 1950 dẫu sao ông cũng được bầu làm Chủ tịch Hội Nhà văn Argentina, một trong những tổ chức ít ỏi đối lập với chế độ độc tài nhưng chẳng được bao lâu, nó đã bị giải tán. Sau khi chế độ độc tài sụp đổ, Borges được cử làm Giám đốc Thư viện Quốc gia, đồng thời cũng là giáo sư văn học Anh và Mỹ tại Trường Đại học Tổng hợp Buenos Aires. Nhưng mọi sự đã là muộn màng, đúng như câu ngạn ngữ Pháp: "khi ta được chia quần, thì ta đã chẳng còn mông". Tới năm 1955, Borges đã hoàn toàn bị hỏng thị giác: "Vinh quang, cũng như sự mù loà, tới cùng tôi chậm rãi từng bước một. Tôi không bao giờ tìm kiếm nó cả". Nhưng tới những năm 50, Borges đã trở thành một nhà văn nổi tiếng thế giới và từ những năm 60, ông đã được đánh giá như một trưởng lão làng văn. Có lẽ niềm vinh quang bất ngờ tới cùng với Borges đã được phù trợ bởi thành công của trào lưu "Tân tiểu thuyết" mà nữ văn sĩ Nathalie Sarraute đã viết ra bản tuyên ngôn rộng mở "Kỷ nguyên thức tỉnh", được in vào đúng năm 1950: "... Khi nhà văn định kể một câu chuyện nào đó và hình dung ra việc mình sẽ phải viết "Hầu tước phu nhân đi ra vào lúc năm giờ" và cảnh độc giả sẽ mai mỉa thế nào khi nhìn vào cái đó, hẳn anh ta sẽ cảm thấy hoài nghi và không thể cất tay lên viết được...". Cộng thêm vào đó là sự thất vọng ở thực tế, và cảm giác chán ngán vì những thủ pháp miêu tả truyền thống... Những gì mà tiến trình phát triển của tiểu thuyết châu Âu mãi mới tới được đã có sẵn trong các tác phẩm mà Borges đã viết từ lâu. Không ngẫu nhiên mà giữa những năm 70, Borges đã được đề cử vào giải Nobel văn học. Nhưng mãi mà ông vẫn không được trao giải thưởng danh giá này. Cho tới lúc qua đời, Borges vẫn thích nhắc đi nhắc lại câu nói đùa nhưng không phải không có ẩn ý: "Tôi sung sướng vì là nhà văn lớn duy nhất đã không được nhận giải Nobel!". Năm 1974, Borges rời khỏi chức Giám đốc Thư viện Quốc gia Argentina và sống ẩn dật trong một căn hộ nhỏ ở Buenos Aires. Một cụ già cô đơn, khiêm nhường, từng được nhận rất nhiều giải thưởng văn học danh giá. Cho tới năm 1981, ông vẫn khẳng định: "Dù sao tôi vẫn không có cảm giác là tôi đã viết hết mọi điều rồi. Về một khía cạnh nào đó tôi vẫn thấy gần hơn với nhiệt huyết thanh xuân so với lúc tôi còn trẻ. Giờ tôi không cho là không thể đạt được hạnh phúc...". Năm 1986, Borges qua đời vì bệnh ung thư gan và được mai táng tại Geneva. Trước đó, năm 1982, trong bài giảng nhan đề "Sự mù lòa", Borges tuyên bố: "Nếu chúng ta cho bóng tối có thể là phúc lộc của trời, thì ai có thể "tự mình sống" hơn người khiếm thị và ai có thể hiểu về bản thân mình hơn người khiếm thị?"

Năm 1971, ông được trao Giải Jerusalem, một giải thưởng dành cho các nhà văn có tác phẩm bàn về quyền tự do cá nhân trong xã hội.